Evaluating Temporal Semantic Caching and Workflow Optimization in Agentic Plan-Execute Pipelines
工业 Agent 管道中的时序语义缓存与工作流优化
🧭 Agent 执行加速与缓存优化
Columbia University · IBM · IBM Research
在 Plan-Execute 工业 Agent 中，时序语义缓存命中达 30.6 倍加速，MCP 工作流优化降低 40% 延迟，并揭示纯语义缓存在参数丰富查询中的失效模式。
📌 工作参考价值（4 点）
- 依赖感知并行执行：在电商多智体（如导购 + 库存 + 物流 Agent）的 Plan-Execute 管道中，分析工具调用间的依赖关系，并行执行无依赖步骤（如同时查询商品详情和用户画像），可直接降低端到端延迟，类似于本文的 1.67 倍加速。
- 带参数感知的时序缓存：对于生成式推荐/商品问答等参数敏感场景，避免使用纯语义缓存；设计缓存键应包含时间戳、用户 ID、商品 ID 等维度，并设置合理的 TTL，防止因忽略参数而返回过期或错误结果。
- 工具发现结果持久化：在多 MCP 工具场景下，将工具列表和 schema 缓存到磁盘，避免每次请求都重新获取工具清单，减少 LLM 规划前的准备开销，工程实现简单但效果明显。
- 缓存正确性评估：引入缓存命中时的结果验证机制（如通过工具返回的最新数据校验），确保加速的同时不牺牲答案正确性，尤其适合金融级或库存实时性要求高的 Agent 系统。